PrismML이 1비트(1-bit) 및 3진법(ternary) 양자화 기술을 적용한 초경량 AI 모델 '분사이 27B(Bonsai 27B)'를 공개했습니다. 이 모델은 스마트폰이나 일반 노트북 환경에서도 270억 개 매개변수(27B) 수준의 고성능 추론, 코딩, 시각 및 에이전트 기능을 온디바이스로 실행할 수 있게 해주는 패러다임 전환적 의미를 지닙니다. 지능 손실은 최소화(기존 대비 90~95% 성능 유지)하면서도 메모리는 혁신적으로 절감하여, 강력한 오픈소스 AI의 모바일 활용을 본격화할 것으로 기대됩니다.
애플이 iOS 27 퍼블릭 베타를 통해 대대적으로 개편된 '시리 AI'를 전격 공개했습니다. 기존의 단순 음성 비서를 넘어 챗봇 형태의 UI를 갖추고 아이폰 운영체제(OS) 전체에 깊숙이 통합되어, 사용자가 기기 내 개인 데이터를 기반으로 훨씬 강력한 작업을 수행할 수 있게 되었습니다. ChatGPT나 Claude 같은 타사 챗봇이 가지지 못한 기기 내부 컨텍스트 접근성을 무기로 애플이 본격적인 온디바이스 AI 생태계 경쟁에 나선다는 점에서 중요합니다.
Liquid AI가 다양한 추론 프레임워크(llama.cpp, vLLM 등)를 지원하는 초소형 오픈웨이트 모델 LFM2.5-230M을 공개했습니다. 이 모델은 스마트폰과 라즈베리파이 같은 저사양 기기에서도 매우 빠른 속도로 구동되며, 파라미터 수가 더 많은 기존 모델들을 능가하는 성능을 보여줍니다. 향후 네트워크 연결 없이 구동되는 모바일 기기 및 엣지 디바이스의 AI 도구 활용 및 데이터 처리 능력을 크게 향상시킬 수 있다는 점에서 실무자들에게 중요한 의미를 갖습니다.
애플이 WWDC에서 발표한 로컬 기반 AI 전략은 클라우드 LLM(대형 언어 모델)에 대한 맹목적인 의존이 끝나가고 있음을 시사합니다. LLM은 본질적으로 확률적 시스템이므로 정확성이 필수적인 자동화 인프라보다는 소프트웨어 개발, 학습, 번역 등 인간의 작업을 증폭시키는 도구로 활용하는 것이 실용적입니다. AI의 실질적인 가치는 단순히 AGI를 향한 기술적 경쟁이나 월간 구독 모델이 아니라, 온디바이스에서 작동하는 실용적이고 즉각적인 워크플로우 최적화에 있습니다.
애플이 사용자의 맥락을 이해하고 강력한 개인정보 보호 기능을 갖춘 차세대 개인 지능 플랫폼인 '시리 AI(Siri AI)'를 발표했습니다. 이번 업데이트를 통해 시리는 오픈엔디 질문에 답변하고, 사용자의 앱 내에서 직접 작업을 수행하며, 전용 앱을 통해 기기 간 대화를 이어갈 수 있게 되었습니다. 또한 아이폰뿐만 아니라 아이패드, 맥, 비전 프로 등 더 많은 기기에서 시각적 지능(Visual Intelligence)을 활용하여 화면 및 주변 사물을 인식하고 즉각적인 조치를 취할 수 있게 된 것이 핵심입니다.
트랜스포머 모델의 핵심인 어텐션(Attention)에서 반드시 필요한 Query, Key, Value(QKV) 세 개의 투영(Projection)을 공유하거나 생략해도 모델 성능을 유지할 수 있다는 연구 결과입니다. 특히 Key와 Value를 하나로 합치는 방식은 추론 시 메모리 캐시를 최대 96.9%까지 획기적으로 줄이면서도 언어 모델의 성능 저하를 최소화하여, 스마트폰 등 엣지(Edge) 기기에서의 AI 추론 활용을 크게 앞당길 수 있는 실용적인 기여를 합니다.
스탠퍼드 연구진이 추론, 에이전트, 메모리, 학습 기능을 기기 내부에서 온전히 실행하는 오픈소스 프레임워크 '오픈자비스(OpenJarvis)'를 공개했습니다. 이 프레임워크는 개인 AI 시스템을 다섯 가지 구성 요소로 분리하여 모듈형으로 제공하며, 최고 수준의 클라우드 모델과 비슷한 성능을 내면서도 API 비용은 약 800분의 1 수준으로 크게 절감합니다. 민감한 개인 데이터를 외부로 전송하지 않고도 고성능 AI를 로컬 환경에서 구동할 수 있다는 점에서 실무적인 의의가 큽니다.
퍼플렉시티(Perplexity)가 사용자 기기에서 구동되는 로컬 AI 모델과 강력한 클라우드 모델을 결합하여, 작업 성격에 따라 처리 위치를 자동으로 결정하는 하이브리드 추론 시스템을 발표했습니다. 민감한 개인정보는 로컬에서 안전하게 처리하고 복잡한 연산이 필요한 작업은 클라우드로 분산시켜 정확성, 프라이버시, 에너지 효율성을 동시에 최적화하는 것이 이번 시스템의 핵심입니다.
PrismML이 노트북과 스마트폰 같은 로컬 기기에서 고품질 이미지 생성을 가능하게 하는 40억 파라미터(4B) 모델 'Bonsai Image 4B'를 공개했습니다. 이 모델은 가중치를 1비트(1-bit) 또는 삼진법(Ternary) 형태로 압축하여, 기존 풀 정밀도(FP16) 모델 대비 메모리 사용량을 약 6~8배 획기적으로 줄였습니다. 특히 이 파라미터 클래스의 이미지 모델 중 최초로 아이폰에서 직접 구동될 수 있어, 온디바이스 AI 생성 기술의 새로운 지평을 열었다는 데 큰 의미가 있습니다.
리퀴드 AI는 일반 소비자용 하드웨어에서도 구동 가능한 온디바이스용 MoE 모델인 LFM2.5-8B-A1B를 발표했습니다. 이 모델은 총 83억 개(8.3B)의 파라미터를 보유하고 있으면서도 연산 시 15억 개(1.5B)만 활성화하여 효율적인 추론을 자랑합니다. 최대 12만 8천(128K) 토큰의 긴 컨텍스트 처리와 고급 추론, 그리고 도구 호출(Tool calling) 기능을 지원하는 것이 특징입니다.
구글이 자체 NPU를 탑재해 AI 모델을 네트워크 없이 로컬에서 구동할 수 있는 초소형 싱글보드 컴퓨터 'Coral Board'를 공개했습니다. 이 보드는 이어폰, 스마트워치 등 초소형 기기에 적합하며 AI 가속기 파편화 문제를 해결하는 것을 목표로 합니다. 완전한 오프라인 환경에서 실시간 번역 등 다양한 엣지 AI 데모를 성공적으로 선보였다는 점에서 실무자들에게 큰 의미를 갖습니다.
전 애플 엔지니어가 창업한 AI 스타트업 아이리스고(IrisGo)는 사용자의 데스크톱 업무 흐름을 학습하여 반복 작업을 사전에 자동화해 주는 '자율형 AI 에이전트'를 개발했습니다. 최대 280만 달러(약 37억 원)의 시드 투자를 유치하며 엔비디아, 구글 등 빅테크의 지원을 받았고, 에이서(Acer)와 같은 PC 제조사들에 앱을 기본 탑재하는 등 본격적인 시장 공략에 나서고 있습니다.
오포(Oppo)의 Multi-X 팀이 카메라, 화면, 음성 등 스마트폰의 모든 센서를 활용해 앱 간 작업을 수행하는 오픈소스 안드로이드 AI 에이전트 'X-OmniClaw'를 공개했습니다. 이 에이전트는 가상화된 클라우드 환경이 아닌 기기 자체에서 직접 구동되어 민감한 개인 정보를 보호하고, 사용자의 행동을 클론하여 자동화하는 것이 특징입니다. 이는 개인정보 보호를 강화한 온디바이스 기반 모바일 AI 에이전트의 발전 방향을 제시한다는 점에서 중요합니다.
Reddit 사용자가 Wi-Fi나 셀룰러 연결 없이 엔비디아 젯슨 오린 NX와 소형 언어 모델인 Gemma 3 4B만으로 완전한 오프라인 로봇을 제작했습니다. 프롬프트 구조 최적화를 통해 캐시 적용 시 첫 토큰 생성 시간(TTFT)을 약 200ms로 단축하고 30개 이상의 센서 데이터를 실시간으로 자연어로 처리하는 점이 기술적으로 주목받습니다.
이 글은 24GB 메모리를 탑재한 M4 맥북 프로에서 인터넷 없이 로컬 AI 모델을 구동하고 코딩 등의 작업에 활용하는 방법을 다루고 있습니다. 실험 끝에 Qwen 3.5-9B 모델을 발견했으며, SOTA(최고 수준) 모델에는 미치지 못하지만 기본적인 연구, 계획, 그리고 도구 활용이 가능해 유용합니다. 또한 Ollama, LM Studio 등의 환경 설정과 Pi, OpenCode 등 터미널 클라이언트의 구성 방법 및 추천 파라미터까지 상세히 공유하고 있습니다.
최근 소프트웨어 개발에서 단순히 클라우드 기반 AI API를 호출하는 방식은 앱의 안정성을 떨어뜨리고 개인정보 침해 우려를 키웁니다. 이에 개발자는 성능이 충분한 로컬 기기의 내장 AI 모델을 활용해 온디바이스에서 직접 기능을 수행해야 한다고 강조합니다. Apple 생태계를 예시로 든 이 글은, 구현 가능한 경우 로컬 AI를 우선 채택하는 것이 개발자와 사용자 모두에게 현명한 접근임을 시사합니다.
구글 크롬의 내장 AI 기능을 활성화하면 기기 내 로컬 환경에서 구동되는 '제미나이 나노(Gemini Nano)' 모델 파일(약 4GB)이 사용자 동의나 명확한 안내 없이 자동으로 다운로드됩니다. 저장 공간이 부족한 사용자는 크롬 설정에서 '기기 내 AI' 옵션을 꺼야만 해당 파일을 삭제하고 공간을 확보할 수 있습니다.
구글이 크롬 브라우저에 경량 AI 모델인 '제미나이 나노(Gemini Nano)'를 기본 탑재하면서, 사용자 동의 없이 약 4GB의 저장 공간이 자동 할당되어 프라이버시 논란이 일고 있습니다. 사용자는 크롬 설정의 '시스템' 메뉴에서 '기기 내 AI(On-device AI)'를 끄는 방식으로 해당 모델을 쉽게 삭제할 수 있습니다. 단, 모델을 비활성화하면 기기 내부에서 처리되는 AI 기반 피싱 및 사기 탐지 등의 보안 기능이 더 이상 작동하지 않는다는 점에 유의해야 합니다.
구글 크롬의 최신 업데이트(v148)에서 기기 내 AI(On-device AI)가 사용자 데이터를 구글 서버로 전송하지 않는다는 명시적인 프라이버시 보장 문구가 삭제되었습니다. 이는 사용자의 기기를 활용해 AI를 구동하는 동시에 자원을 절약하고 데이터를 수집하려는 구글의 의도로 해석됩니다. 해당 사안을 계기로 많은 사용자들이 파이어폭스나 브레이브 등 대체 브라우저로 이동을 고려하는 등 개인정보 보호에 대한 우려가 커지고 있습니다.
구글 크롬이 사용자의 동의나 명시적 알림 없이 최신 버전에서 기기 내 AI 기능을 위해 4GB 크기의 'Gemini Nano' 모델(weights.bin)을 자동으로 다운로드하고 설치하고 있습니다. 사용자가 이를 수동으로 삭제해도 브라우저 실행 시 자동으로 재다운로드되며, 이는 GDPR 및 ePrivacy 지침 위반과 전 지구적인 탄소 배출을 유발하는 심각한 환경적 문제를 야기할 수 있다는 전문가의 비판을 받고 있습니다.
Qwen이 TileLang 기반의 고성능 선형 어텐션(Linear Attention) 커널인 FlashQLA를 공개했습니다. 순방향 연산 속도를 2~3배, 역방향 연산 속도를 2배 향상시켰으며, 특히 개인 기기에서 작동하는 에이전트 AI 및 긴 문맥(Long-context) 처리 환경에 최적화된 것이 특징입니다. 메모리 제약이 심한 에지 디바이스 환경에서 실질적인 성능 향상을 이끌어내는 실무적인 하드웨어 최적화 기법을 적용했습니다.
온디바이스 AI 모델 구동에 최적화된 애플의 M4 맥 미니 기본 모델이 전 세계적으로 품절되면서 이베이 등 중고 시장에서 웃돈이 붙어 거래되고 있습니다. 낮은 소음과 안정성, 뛰어난 전력 효율성 덕분에 AI 개발자들의 테스트용 기기로 각광받은 것이 주된 원인입니다. 수요가 Mac Studio로까지 번지며 공급망 전체에 악영향을 미치고 있어, 애플의 추가 공급이 이루어지기 전까지는 높은 가격이 유지될 전망입니다.
안커(Anker)는 오디오 기기 및 소형 IoT 기기에 온디바이스 AI를 구현하기 위해 자체 신경망 칩인 'Thus(더스)'를 개발했습니다. 이 칩은 세계 최초로 메모리 내 연산(Compute-in-Memory) 기술을 적용한 AI 오디오 칩으로, 크기와 전력 소모를 획기적으로 줄이면서도 수백만 개의 파라미터를 처리할 수 있습니다. 해당 칩은 크기와 전력 제약이 가장 심한 이어버드(Soundcore Liberty 5 Pro Max 등)에 우선 탑재되어 압도적인 통화 노이즈 캔슬링 성능을 제공할 예정이며, 향후 안커의 다른 제품군으로 확대될 예정입니다.
애플의 이사회가 하드웨어 분야에서 경력을 쌓은 인물을 선정한 것은 AI의 미래를 소프트웨어가 아닌 하드웨어에서 찾겠다는 의지로 풀이됩니다. 구글이나 OpenAI 등과 대형 언어 모델(LLM) 경쟁을 벌이는 대신, 아이폰과 고성능 프로세서를 활용해 클라우드가 아닌 기기 자체에서 AI 모델을 구동하겠다는 전략입니다.
아이패드 환경에서 온프레미스로 구동되는 자체 월드 모델(World Model)을 훈련시켜 적용한 미니 드라이빙 게임 프로토타입이 공유되었습니다. 이 게임은 사용자가 제공하는 사진을 실시간으로 인터프리팅하여 조작 가능한 게임플레이 환경으로 변환하며, 화면에 직접 그림을 그려 모델이 이를 어떻게 해석하는지 확인하는 기능도 포함되어 있습니다. 엣지 디바이스에서 구동되는 생성형 AI의 실시간 인터랙션 가능성을 보여준다는 점에서 기술적 의의가 있습니다.
PrismML이 가중치를 단 3가지 값(-1, 0, +1)만 사용하는 1.58비트 언어 모델인 '테르나리 분산(Ternary Bonsai)'을 공개했습니다. 이 모델은 기존 16비트 모델 대비 약 9분의 1 수준의 작은 메모리 용량을 차지하면서도 동급 16비트 모델들을 능가하는 뛰어난 성능을 보여줍니다. 엣지 디바이스에서도 초고속 추론 속도와 높은 전력 효율을 발휘하여, 하드웨어 자원이 제한된 환경에서의 실용적인 AI 배포를 혁신할 것으로 평가받습니다.
구글의 오픈소스 AI 모델인 'Gemma 4'가 아이폰 내 GPU를 활용해 네트워크 연결 없이도 완벽하게 오프라인 구동됩니다. 단순한 텍스트 처리를 넘어 이미지 인식, 음성 대화, 확장 가능한 스킬(Skills) 프레임워크를 지원하며, 특히 엔터프라이즈 환경에서 데이터 프라이버시가 필수적인 의료 및 산업 현장에 실질적인 솔루션을 제공한다는 점에서 매우 중요합니다.
AMD가 자체 하드웨어(NPU, GPU)에 최적화된 오픈소스 AI 에이전트 프레임워크 'GAIA'를 공개했습니다. 이 프레임워크는 파이썬과 C++를 모두 지원하며, 클라우드나 외부 API 키 없이도 데이터를 기기 내에 머물게 하여 완벽한 프라이버시를 보장합니다. 개발자는 단 두 번의 명령어만으로 오프라인 문서 질의응답, 음성 인식 및 생성, 코드 작성, 사용자 에이전트 구축 등을 로컬 환경에서 구현할 수 있습니다.
AI 모델의 지능이 빠르게 평준화(일상화)되면서, 막대한 자본을 태우는 인프라 경쟁 대신 엄청난 현금을 보유한 채 기기를 통한 온디바이스 AI 통합에 집중해 온 애플이 유리한 고지를 점하게 되었습니다. 거대 AI 모델 구축에 천문학적 자금을 소모하고도 수익성을 입증하지 못해 위기에 처한 오픈AI 등의 사례와 대비되어, 향후 플랫폼 점유율과 실질적 사용자 경험을 중심으로 한 AI 산업의 패러다임 전환을 시사합니다.
원하지 않는 게시물을 자연어로 차단할 수 있는 브라우저 확장 프로그램 및 iOS 앱입니다. 사용자가 '암호화폐', '참여 유도성 글', '분노 정치' 등 필터 주제를 일상 언어로 입력하면 다양한 AI 모델이 게시물을 분류해 실시간으로 숨겨줍니다. 로컬 모델 실행부터 클라우드 API 연동까지 지원하며 이미지 기반 필터링과 차단 사유 투명성 제공이 특징입니다.